在普通账户中。我创建了一些目录。/usr/local/hadoop-2.7.3/data/dfs/namenode/usr/local/hadoop-2.7.3/data/dfs/namesecondary/usr/local/hadoop-2.7.3/data/dfs/datanode/usr/local/hadoop-2.7.3/data/yarn/nm-local-dir/usr/local/hadoop-2.7.3/data/yarn/system/rmstore然后输入一些命令bin/hdfsnamenode–formatsudosbin/start-all.shjps然后在
我们有一个Hadoop服务，其中有多个应用程序。我们需要通过重新执行相同的工作流来处理每个应用程序的数据。这些计划在一天的同一时间执行。问题是，当这些作业正在运行时，很难知道该作业正在为哪个应用程序运行/失败/成功。当然，我可以打开作业配置并知道它，但这确实需要时间，因为有10多个应用程序在该服务下运行。oozie中是否有任何选项可以在执行作业时动态传递工作流(或其中的一部分)的名称ooziejob-run-config-name""ORooziejob-run-config-nameSuffix""此外，我们不希望创建多个作业文件夹来单独执行，因为那样复制粘贴会太多。请推荐。
hadoopdatanode是否通过调用namenode向namenode注册自己，或者namenode是否有一个datanodes列表并与它们联系。我想了解如何更好地解决我提出的新名称节点的问题(名称节点故障后)，它没有看到任何数据节点(但fsimage正确)。 最佳答案 数据节点心跳到名称节点。名称节点不会接触到数据节点。即使在检索数据时，名称节点也不会接触到数据节点。名称节点将通知客户端数据在哪里，客户端将从数据节点中检索数据。(澄清一下，在MR工作流程中，作业跟踪器从数据所在的名称节点中找到并适本地分配任务跟踪器。)
我在重新启动所有节点后尝试在Ambari中重新启动我的hadoop集群时遇到了一个奇怪的问题。尽管没有进行任何配置更改，名称节点服务无法启动并出现以下错误。>Fail:Executionof'su-s/bin/bash-hdfs-c'export>PATH=$PATH:/usr/hdp/current/hadoop-client/bin;hdfs--config>/etc/hadoop/confdfsadmin-safemodeget'|grep'SafemodeisOFF''>returned1.我环顾四周，发现有人指出了一个非UTF-8编码问题，但没有运气解决这个问题。谁能告诉我这
我有一个旧的Hadoop安装，我希望更新到Hadoop2。在旧设置，我有一个$HADOOP_HOME/conf/masters文件指定二级名称节点。查看Hadoop2文档我找不到任何提及“masters”文件，或如何设置辅助名称节点。如能提供正确方向的任何帮助，我们将不胜感激。 最佳答案 conf文件夹中的slaves和masters文件仅供bin文件夹中的一些脚本使用，如start-mapred.sh、start-dfs.sh和start-all.sh脚本。这些脚本只是为了方便，因此您可以从单个节点运行它们以通过ssh连接到每个主
当我尝试删除HDFS文件系统中的目录时，出现以下错误:无法删除目录。名称节点处于安全模式。如何解决这个问题？请指教。 最佳答案 如果您看到该错误，则表示Namenode处于安全模式并且几乎等同于只读模式。要从安全模式中退出名称节点，请运行以下命令:$hadoopdfsadmin–safemode离开 关于Hadoop:无法删除目录。名称节点处于安全模式，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com/
当我尝试在Hadoop上格式化NameNode时，我收到一条错误消息，指出无法创建目录。Cannotcreatedirectory/usr/local/hadoop_store/hdfs/namenode/currentCannotcreatedirectory/usr/local/hadoop_store/hdfs/namenode/currentjava.io.IOException:Cannotcreatedirectory/usr/local/hadoop_store/hdfs/namenode/currentatorg.apache.hadoop.hdfs.server.co
当我尝试在主节点上启动hadoop时，我得到以下输出。并且namenode没有启动。[hduser@dellnode1~]$start-dfs.shstartingnamenode,loggingto/usr/local/hadoop/bin/../logs/hadoop-hduser-namenode-dellnode1.library.outdellnode1.library:datanoderunningasprocess5123.Stopitfirst.dellnode3.library:datanoderunningasprocess4072.Stopitfirst.dell
我的系统定期执行许多配置单元查询。当您查看工作跟踪器时，它们显示为“SELECTfield,other_field.....(Stage-1)”等。这对我不是特别有帮助，所以我补充说:setmapred.job.name=更有帮助的名称；到查询。现在我可以更好地区分它们了。但是，现在我的查询被分成多个阶段，所有这些都显示为相同的名称。我最喜欢的是setmapred.job.name=morehelpfulname(Stage-%d);其中%d将被当前阶段编号替换。这可能吗，有人知道怎么做吗？ 最佳答案 我不确定是否有一种方法可以准确
Hadoop具有一致性和分区容错性，即它属于CAP定理的CP类别。Hadoop不可用，因为所有节点都依赖于名称节点。如果名称节点失败，集群将关闭。但考虑到HDFS集群有一个辅助名称节点，为什么我们不能称hadoop为可用。如果名称节点已关闭，则可以使用辅助名称节点进行写入。导致hadoop不可用的名称节点和辅助名称节点之间的主要区别是什么。提前致谢。 最佳答案 namenode将HDFS文件系统信息存储在名为fsimage的文件中。对文件系统的更新(添加/删除block)不会更新fsimage文件，而是记录到文件中，因此I/O是快速
